Sau ngày 10 tháng 10 năm 1954, ông trở về Hà Nội và được tín nhiệm giữ cương vị người đứng đầu thành phố cho đến tận năm 1977.

Ông là người đi đầu trong mọi phong trào, đã dẫn dắt thành phố đạt năng suất lúa cao nhất miền Bắc. Mọi hoạt động công thương nghiệp, chăn nuôi và ngay cả rau xanh luôn đi đầu cả nước. Hà Nội cũng là nơi đầu tiên có mô hình nhà lắp ghép rồi từ đó nhân ra các tỉnh.

Ông cũng là người tận dụng triệt để hàng ngũ trí thức tư sản như Nghiêm Tử Trình, Trịnh Văn Bô trong công cuộc phát triển thành phố. Ông cũng là người dám đột phá với những chủ trương không dễ dàng vào thời đó như. Vào thập niên 1960, Trần Duy Hưng chủ trương bán nhà phân phối cho cán bộ để thành phố vừa có tiền mà cán bộ có nhà của mình để tự họ sửa chữa cho to đẹp hơn. Khi hàng hóa khan hiếm trong chiến tranh chống Mỹ, ông đã để cho tư nhân sản xuất thủ công một số mặt hàng thiết yếu trở lại.

Ông còn là người thị trưởng với tầm nhìn của tương lai. Suốt trong thời gian ông làm chủ tịch, quy hoạch xây dựng tổng thể thành phố luôn được tôn trọng. Ông ôm ấp ý tưởng biến sông Hồng trở thành một thực thể của Hà Nội.

Trần Duy Hưng là một người sống giản dị, liêm khiết, luôn luôn tận tụy với dân. Ông luôn có mặt động viên kịp thời người dân, đưa những người bị thương đi cấp cứu tại các bệnh viện trên địa bàn Hà Nội thời đó. Trần Duy Hưng còn là người cùng dân xây lại các ngôi nhà bị bom tàn phá trên chính những khu phố bị bom B52 của Mỹ tàn phá như Khâm Thiên, An Dương, Bạch Mai ngay cả trong 12 ngày đêm của trận Điện Biên Phủ trên không lịch sử tháng 12 năm 1972.

Đại tướng Võ Nguyên Giáp đã nhận xét về ông: "Một con người của nhân dân Việt Nam, vì nhân dân Việt Nam; là một trí thức để lại tấm gương sáng cho các thế hệ trí thức cả hôm nay và mai sau học tập, noi theo".